建立强大的确定性神经网络仍然是一个挑战。一方面,某些方法以降低某些情况下的分类准确性为代价改善了分布检测。另一方面,某些方法同时提高了分类准确性,不确定性估计和分布外检测,但以降低推理效率为代价。在本文中,我们提出了使用Dismax损失的培训确定性神经网络,这是对通常的软马克斯损失的倒入替换(即,线性输出层的组合,软磁性激活和交叉透射率损失) 。从Isomax+损失开始,我们根据所有原型的距离创建每个logit,而不仅仅是与正确类关联的logit。我们还引入了一种结合图像的机制,以构建所谓的分数概率正则化。此外,我们提出了一种快速训练后校准网络的方法。最后,我们提出一个复合分数以执行分布外检测。我们的实验表明,Dismax通常在分类准确性,不确定性估计和分布外检测方面同时优于当前方法,同时保持确定性的神经网络推断效率。重现结果的代码可在https://github.com/dlmacedo/distinction-maximization-loss上获得。
translated by 谷歌翻译